梯度是一个矢量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着梯度的方向变化最快，变化率最大（为该梯度的模）。
先以一元函数为例，我们知道如果$f$是$x$的函数，那么$f$沿$x$轴的变化率就是$\frac{df}{dx}$。
对于二元函数$f(x,y)$，如图所示：
$f$沿平面内每个方向都存在变化率。$f$沿$x$方向的变化率是$\frac{\partial f}{\partial x}$，而f沿y方向的变化率是$\frac{\partial f}{\partial y}$。更为一般的沿着任意方向的的变化率为 $$ \frac{\partial f}{\partial s}=\frac{\partial f}{\partial x} \cos \alpha+\frac{\partial f}{\partial y} \cos \beta $$ 其中$\cos\alpha，\cos \beta）$是沿$\vec{s}$方向的单位向量。
引入符号 $\nabla$,称之为“梯度” ，令 $$ \begin{aligned} &\nabla f=\frac{\partial f}{\partial x} \boldsymbol{i}+\frac{\partial f}{\partial y} \boldsymbol{j} \\ &\boldsymbol{e}_{s}=\cos \alpha \boldsymbol{i}+\cos \beta \boldsymbol{j} \end{aligned} $$ 则有 $$ \frac{\partial f}{\partial s}=\nabla f \cdot \boldsymbol{e}_{s} $$
当$\vec{s}$方向与 $\nabla f$ 相同时， $\partial f / \partial s$ 取得最大值，而二者方向相反时， $\frac{\partial f}{\partial s}$ 取得最小值, 即函数沿 $\nabla$ 方向具有最大的变化率。函数沿梯度方向具有最大的变化率。
参考资料